<!DOCTYPE html>
<html lang="si">
<head>
    <meta http-equiv="content-type" content="text/html;charset=utf-8"/>
    <meta name="viewport" content="width=device-width, initial-scale=1.0"/>
    <meta name="description" content="මෙය PyTorch ක්රියාත්මක කිරීම/නිබන්ධනය කඩදාසි ට්රිලියන ගණනක ටෝකන වලින් ලබා ගැනීමෙන් භාෂා ආකෘති වැඩි දියුණු කිරීම. එය පෙළ කැබලි වල ප්රධාන වටිනාකම් දත්ත සමුදායක් ගොඩනඟන අතර අනාවැකි පළ කිරීමේදී ඒවා භාවිතා කරයි."/>

    <meta name="twitter:card" content="summary"/>
    <meta name="twitter:image:src" content="https://avatars1.githubusercontent.com/u/64068543?s=400&amp;v=4"/>
    <meta name="twitter:title" content="නැවත ලබා ගැනීම-වැඩි දියුණු කළ ට්රාන්ස්ෆෝමර් (රෙට්රෝ)"/>
    <meta name="twitter:description" content="මෙය PyTorch ක්රියාත්මක කිරීම/නිබන්ධනය කඩදාසි ට්රිලියන ගණනක ටෝකන වලින් ලබා ගැනීමෙන් භාෂා ආකෘති වැඩි දියුණු කිරීම. එය පෙළ කැබලි වල ප්රධාන වටිනාකම් දත්ත සමුදායක් ගොඩනඟන අතර අනාවැකි පළ කිරීමේදී ඒවා භාවිතා කරයි."/>
    <meta name="twitter:site" content="@labmlai"/>
    <meta name="twitter:creator" content="@labmlai"/>

    <meta property="og:url" content="https://nn.labml.ai/transformers/retro/index.html"/>
    <meta property="og:title" content="නැවත ලබා ගැනීම-වැඩි දියුණු කළ ට්රාන්ස්ෆෝමර් (රෙට්රෝ)"/>
    <meta property="og:image" content="https://avatars1.githubusercontent.com/u/64068543?s=400&amp;v=4"/>
    <meta property="og:site_name" content="නැවත ලබා ගැනීම-වැඩි දියුණු කළ ට්රාන්ස්ෆෝමර් (රෙට්රෝ)"/>
    <meta property="og:type" content="object"/>
    <meta property="og:title" content="නැවත ලබා ගැනීම-වැඩි දියුණු කළ ට්රාන්ස්ෆෝමර් (රෙට්රෝ)"/>
    <meta property="og:description" content="මෙය PyTorch ක්රියාත්මක කිරීම/නිබන්ධනය කඩදාසි ට්රිලියන ගණනක ටෝකන වලින් ලබා ගැනීමෙන් භාෂා ආකෘති වැඩි දියුණු කිරීම. එය පෙළ කැබලි වල ප්රධාන වටිනාකම් දත්ත සමුදායක් ගොඩනඟන අතර අනාවැකි පළ කිරීමේදී ඒවා භාවිතා කරයි."/>

    <title>නැවත ලබා ගැනීම-වැඩි දියුණු කළ ට්රාන්ස්ෆෝමර් (රෙට්රෝ)</title>
    <link rel="shortcut icon" href="/icon.png"/>
    <link rel="stylesheet" href="../../pylit.css?v=1">
    <link rel="canonical" href="https://nn.labml.ai/transformers/retro/index.html"/>
    <link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/katex@0.13.18/dist/katex.min.css" integrity="sha384-zTROYFVGOfTw7JV7KUu8udsvW2fx4lWOsCEDqhBreBwlHI4ioVRtmIvEThzJHGET" crossorigin="anonymous">

    <!-- Global site tag (gtag.js) - Google Analytics -->
    <script async src="https://www.googletagmanager.com/gtag/js?id=G-4V3HC8HBLH"></script>
    <script>
        window.dataLayer = window.dataLayer || [];

        function gtag() {
            dataLayer.push(arguments);
        }

        gtag('js', new Date());

        gtag('config', 'G-4V3HC8HBLH');
    </script>
</head>
<body>
<div id='container'>
    <div id="background"></div>
    <div class='section'>
        <div class='docs'>
            <p>
                <a class="parent" href="/">home</a>
                <a class="parent" href="../index.html">transformers</a>
                <a class="parent" href="index.html">retro</a>
            </p>
            <p>
                <a href="https://github.com/labmlai/annotated_deep_learning_paper_implementations" target="_blank">
                    <img alt="Github"
                         src="https://img.shields.io/github/stars/labmlai/annotated_deep_learning_paper_implementations?style=social"
                         style="max-width:100%;"/></a>
                <a href="https://twitter.com/labmlai" rel="nofollow" target="_blank">
                    <img alt="Twitter"
                         src="https://img.shields.io/twitter/follow/labmlai?style=social"
                         style="max-width:100%;"/></a>
            </p>
            <p>
                <a href="https://github.com/labmlai/annotated_deep_learning_paper_implementations/tree/master/labml_nn/transformers/retro/__init__.py" target="_blank">
                    View code on Github</a>
            </p>
        </div>
    </div>
    <div class='section' id='section-0'>
        <div class='docs doc-strings'>
            <div class='section-link'>
                <a href='#section-0'>#</a>
            </div>
            <h1>නැවතලබා ගැනීම-වැඩි දියුණු කළ ට්රාන්ස්ෆෝමර් (රෙට්රෝ)</h1>
<p>මෙය <a href="https://pytorch.org">PyTorch</a> ක්රියාත්මක කිරීමකි කඩදාසි <a href="https://papers.labml.ai/paper/2112.04426">ට්රිලියන ගණනක ටෝකන වලින් ලබා ගැනීමෙන් භාෂා ආකෘති වැඩි දියුණු කිරීම</a> . </p>
<p>එයපෙළ කුට්ටි පිළිබඳ දත්ත සමුදායක් ගොඩනඟයි. එය යතුරු කැබලි වල BERT කාවැද්දීම් විසින් සුචිගත කරනු ලබන ප්රධාන අගය දත්ත සමුදායකි. මෙම කාවැද්දීම් ගණනය කිරීම සඳහා ඔවුන් ශීත කළ පෙර පුහුණු කළ BERT ආකෘතියක් භාවිතා කරයි. අගයන් යනු අනුරූප කුට්ටි සහ එම කුට්ටිය ඉදිරියට යන පෙළ සමාන දිගකි. </p>
<p>එවිටආකෘතිය මෙම දත්ත ගබඩාවෙන් ආකෘතියට ආදානයට සමාන (ආසන්නතම අසල්වැසියන්) පෙළ නැවත ලබා ගනී. ප්රතිදානය පුරෝකථනය කිරීම සඳහා මෙම නැවත ලබා ගත් පෙළ භාවිතා කරයි. </p>
<p>අපිනැවත ලබා ගැනීම සඳහා ශීත කළ BERT ආකෘතියක් භාවිතා කරන බැවින් පුහුණු දත්ත සමුදාය සඳහා ආසන්නතම අසල්වැසියන් පූර්ව ගණනය කළ හැකිය. මෙය පුහුණු ක්රියාවලිය වේගවත් කරයි. </p>
<p>සංරචක:</p>
<ul><li><a href="bert_embeddings.html">BERT කාවැද්දීම්</a>: පෙළ කුට්ටි BERT කාවැද්දීම් ලබා ගැනීමට කේතය. </li>
<li><a href="database.html">ප්රධාන අගය දත්ත සමුදාය</a>: කුට්ටි තැනීම සහ ලබා ගැනීම </li>
<li><a href="model.html">ආකෘතිය</a> </li>
<li><a href="dataset.html">දත්ත කට්ටලය</a>: ආසන්නතම අසල්වැසියන් පූර්ව ගණනය කරන්න </li>
<li><a href="train.html">පුහුණු කේතය</a></li></ul>
<p><a href="https://app.labml.ai/run/3113dd3ea1e711ec85ee295d18534021"><img alt="View Run" src="https://img.shields.io/badge/labml-experiment-brightgreen"></a></p>

        </div>
        <div class='code'>
            <div class="highlight"><pre></pre></div>
        </div>
    </div>
    <div class='footer'>
        <a href="https://papers.labml.ai">Trending Research Papers</a>
        <a href="https://labml.ai">labml.ai</a>
    </div>
</div>
<script src=../../interactive.js?v=1"></script>
<script>
    function handleImages() {
        var images = document.querySelectorAll('p>img')

        for (var i = 0; i < images.length; ++i) {
            handleImage(images[i])
        }
    }

    function handleImage(img) {
        img.parentElement.style.textAlign = 'center'

        var modal = document.createElement('div')
        modal.id = 'modal'

        var modalContent = document.createElement('div')
        modal.appendChild(modalContent)

        var modalImage = document.createElement('img')
        modalContent.appendChild(modalImage)

        var span = document.createElement('span')
        span.classList.add('close')
        span.textContent = 'x'
        modal.appendChild(span)

        img.onclick = function () {
            console.log('clicked')
            document.body.appendChild(modal)
            modalImage.src = img.src
        }

        span.onclick = function () {
            document.body.removeChild(modal)
        }
    }

    handleImages()
</script>
</body>
</html>